一、背景 企业每天都会产生大量的数据，随着时间增长，数据会呈现几何增长，尤其在系统基建基础好的公司。好的数据仓库需要提前规划和好的运营，才能支持企业的发展，为企业提供数据分析基础。二、目标 提高数据仓库存储性能和开发质量以及数据质量三、数据运营指标3.1 开发质量表名规范性：检验数据库表名是否按照数仓表名规范，表名是否按照词根翻译字段名规范性：检验表字段名是否按照词根中文进行翻译字段类型规范性：检验表字段类型是否按照数据标准设立表引用次数：根据表引用次数进行排名，重点关注引用次数高的和次数低的，次数高的定期优化，确保任务执行失败，次数低的考虑数据架构是否合理，如果存在次数为
数据仓库【5】：项目实战1、项目概述1.1、项目背景1.2、复购率计算2、数据描述3、架构设计3.1、数据仓库架构图4、环境搭建4.1、环境说明4.2、集群规划4.3、搭建流程5、项目开发5.1、业务数据生成5.2、ETL数据导入5.3、ODS层创建&数据接入5.4、DWD层创建&数据接入5.5、DWS层创建&数据接入5.6、ADS层创建&数据接入5.7、ADS层数据导出5.8、Azkaban自动化调度6、课后练习6.1、ADS层分析6.2、ADS层创建&数据接入6.3、Azkaban自动化调度1、项目概述1.1、项目背景某电商企业，因数据积存、分析需要，筹划搭建数据仓库，提供数据分析访问接口
前言：我们先了解一下数据仓库架构的演变过程。1、数据仓库定义数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。数据仓库概念是Inmon于1990年提出并给出了完整的建设方法。随着互联网时代来临，数据量暴增，开始使用 大数据工具 来替代经典数仓中的传统工具。此时仅仅是工具的取代，架构上并没有根本的区别，可以把这个架构叫做离线大数据架构后来随着业务实时性要求的不断提高，人们开始在 离线大数据架构 基础上加了一个加速层，使用流处理技术直接完成那些实时性要
Gitea为什么需要自建仓库原因只有一个：折腾。其实国内的码云加上github已经足够用了。官方原话Gitea的首要目标是创建一个极易安装，运行非常快速，安装和使用体验良好的自建Git服务。我们采用Go作为后端语言，这使我们只要生成一个可执行程序即可。并且他还支持跨平台，支持Linux，macOS和Windows以及各种架构，除了x86，amd64，还包括ARM和PowerPC为什么不选gitlab之前就是用的gitlab做私有仓库，但gitlab实在太臃肿了，启动并运行大概需要4G的内存，即使你精简一些服务的话，至少也得2G内存。后来发现了Gitea，测试了下很轻量，我一个使用作为自己的代码
目前，GBASE南大通用已与阿里云计算巢合作，双方融合各自技术优势，助力企业用户实现云上数据仓库的自动化部署，让用户在云端获取数据仓库服务“更简单”，让用户在云端使用数据仓库服务“更便捷”，满足企业用户对高效便捷、自动化部署、高性价比的云原生数据仓库诉求。本文将重点介绍阿里云计算巢版GBaseGCDW云原生数据仓库，解析数据仓库软件在云端私有化部署形态，帮助大家了解如何通过阿里云计算巢快速部署GBaseGCDW。GBase云数仓在阿里云上的部署架构图作为一家创新型数据库软件企业，GBASE南大通用专注于数据库软件产品与服务，核心软件产品GBase8aMPPCluster是一款分析型数据库，即O
数据仓库【4】：最佳实践1、表的分类1.1、事实表1.2、维度表1.3、事务事实表1.4、周期快照事实表1.5、累积快照事实表1.6、拉链表2、ETL策略2.1、全量同步2.2、增量同步3、任务调度3.1、为什么需要任务调度？3.2、常见任务类型3.3、常见调度工具1、表的分类维度建模中的表类型事实表维度表事务事实表周期快照事实表累积快照事实表拉链表1.1、事实表一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等1.2、维度表一般是指对应一些业务状态，代码的解释表。也可以称之为码表通常使用维度对事实表中的数据进行统计、聚合运算1.3、事务事实表随着业务不断产生的数据，一旦产生不会
前言目前有个python应用需要在容器镜像内拉取git私有仓库的代码，一开始的想法是用GitPython，折腾一番ssh私钥和known_hosts问题后，发现还是在镜像中封装个git最省事，然后用subprocess调用系统命令，镜像体积也没有想象中增加特别多。准备ssh私钥和known_hosts文件应用内通过repo的sshurl克隆和拉取仓库，所以ssh私钥和known_hosts要封装到镜像中。生成ssh密钥文件。一般来说提示输入直接回车即可。生成的$HOME/.ssh/id_ed25519为私钥文件，是需要拷贝到镜像中的。$HOME/.ssh/id_ed25519.pub为公钥文件
Gitea为什么需要自建仓库原因只有一个：折腾。其实国内的码云加上github已经足够用了。官方原话Gitea的首要目标是创建一个极易安装，运行非常快速，安装和使用体验良好的自建Git服务。我们采用Go作为后端语言，这使我们只要生成一个可执行程序即可。并且他还支持跨平台，支持Linux，macOS和Windows以及各种架构，除了x86，amd64，还包括ARM和PowerPC为什么不选gitlab之前就是用的gitlab做私有仓库，但gitlab实在太臃肿了，启动并运行大概需要4G的内存，即使你精简一些服务的话，至少也得2G内存。后来发现了Gitea，测试了下很轻量，我一个使用作为自己的代码
前言前面分享了k8s的部署安装，本篇来点实操，将会把一个.netcore+vue的项目（zhontai），打包构建成docker镜像，推送到nexus镜像仓库，并部署到k8s中准备要实现项目的部署，除了准备要部署的环境（k8s），还需要准备项目所用到的各中间件，本文旨在分享部署的一个整体流程，对项目中所使用到的各中间件（mysql，redis等）的安装使用可自行在本DevOps系列文章中找到一个.netcore+vue的项目使用zhontai项目，之前也有做分享，文章介绍后端Admin.Corev3.7.1前端admin.ui.plusv2.2.0Nexus的安装部署，文章介绍做为镜像仓库使用
GithubPages仓库创建1.在GitHub上创建一个新仓库2.在仓库中创建一个分支（可选，可跳过）3.创建您的静态网站4.启用GitHubPages5.等待构建完成6.访问您的网站在GitHub上创建一个GitHubPages仓库是相对简单的。GitHubPages允许您将您的代码仓库发布为一个静态网站。以下是创建GitHubPages仓库的一般步骤：1.在GitHub上创建一个新仓库登录到您的GitHub账户（没有就注册一个吧，开始你的GitHub之旅）在页面右上角，点击页面顶部的“+”（加号）按钮，然后选择“Newrepository”（新建仓库）命名您的仓库，填写一个简短的描述，选
